Group Entropy-Controlled Policy Optimization
分组熵控制的策略优化
🧭 LLM强化学习训练 · 分组熵控制
Shanghai AI Laboratory
提出分组熵控制优势塑造方法，解决多任务 RL 训练中探索-利用失衡与优势不可比问题
📌 工作参考价值（5 点）
- 面向电商/Agent从业者的可借鉴点：
- 训练多任务推荐 Agent 时，不同任务（如商品推荐、对话引导）的探索需求不同，可引入分组熵控制，对低熵任务（已学好的模板）适度压制正优势以减少过度利用，对高熵任务（新品类）保留负优势以鼓励探索，避免全局熵调度的僵化。
- 若在推荐对话 Agent 中采用 GRPO 类算法，GEPO 只需在已有分组样本上计算组熵并修正优势，改动微小，适合作为轻量级工程优化直接集成。
- 自适应阈值的思路（用历史熵移动平均动态决定何时干预）可迁移到推荐系统的 Bandit/RL 策略中，实时调整探索系数，无需手动调参。
- GEPO 不引入额外模型，仅利用现有采样组统计量，对线上推理无侵入，符合生产环境对低 overhead 的要求。